Tháng Bảy (âm lịch) năm Tự Đức thứ 11 (Mậu Ngọ, 1858), tàu chiến Pháp nổ súng đánh phá Sơn Trà (Đà Nẵng), dù đang có bệnh, ông vẫn quyết định tạm giao công việc cho bạn đồng khoa là Tiến sĩ Doãn Khuê, dâng lên vua "Trà Sơn kháng sớ" (Sớ kháng nghị việc Sơn Trà), rồi cùng với học trò và một số sĩ phu yêu nước ở Nam Định, lập ngay một đội quân nghĩa dũng gồm 365 người rồi xin vua cho vào Đà Nẵng đánh quân Pháp.

Nhưng khi đội quân nghĩa dũng tới Huế, thì quân Pháp đã rút khỏi nơi đó để vào đánh Gia Định. Vua Tự Đức không chuẩn y sớ của ông xin tiếp tục được vào Nam đánh đuổi ngoại xâm, mà chỉ ban lời khen ngợi, nên ông đành phải quay về [3]. Tuy vậy, nghĩa cử này đã làm rúng động cả sĩ phu Nam Bắc[4]

Về tới đất Bắc, ông tiếp tục làm chức vụ cũ. Khi ấy, có nhóm thổ phỉ người Trung Quốc tràn sang quấy nhiễu ở vùng Đông Bắc, ông đem ngay số nghĩa dũng vừa chiêu mộ được, đến đóng đồn phòng giữ khi yên mới thôi. Triều đình thăng ông làm Hàn Lâm viện Thị giảng Học sĩ, nhưng vì bệnh nên ông lại xin nghỉ.

Năm 1866, ông được sung chức Thương biện, đóng quân ở Hà Cát để trông coi vùng biển. Năm Tự Đức thứ 26 (1873), triều đình thăng ông làm Thị độc Học sĩ, ban cho thẻ bài bằng vàng.

Mùa đông năm ấy, Pháp đem quân đánh chiếm Hà Nội, rồi đánh luôn Nam Định. Bấy giờ tuy đã 68 tuổi, Phạm Văn Nghị vẫn tổ chức dân binh chặn đánh quân Pháp ở ngã ba Độc Bộ. Do quân ít, chống không nổi, ông cho rút nghĩa quân về lập căn cứ ở Yên Hàn (Ý Yên, Nam Định).

Về ở ẩn

Hiệp ước Giáp Tuất được ký vào ngày 15 tháng 3 năm 1874, trong đó có điều khoản triều đình Huế phải giao đứt toàn bộ Nam Kỳ cho Pháp. Biết được tin này, Phạm Văn Nghị buồn bực, viện cớ tuổi cao, xin về dưỡng lão, mặc dù ông vừa được sung làm Thương biện Nam Định.

Sau triều đình truy xét lại việc để thành Nam Định bị thất thủ, ông bị tước đoạt hết mọi chức tước, bổng lộc. Về ở ẩn, ông sống đạm bạc, nơi động Hoa Lư, Ninh Bình, lấy hiệu là "Liên Hoa Động chủ".

Năm 1884, ông mất vì già yếu, được vua Tự Đức chuẩn cho khai phục nguyên chức hàm cũ là Thị độc Học sĩ.